OpenAI GPT-3 的自我介紹

我的中文名為生成式預訓練變換模型3，是一種自回歸語言模型。
什麼!?前面不是說生成式AI不適用於回歸模型嗎?
NO~NO~自回歸模型並不是回歸模型喔!我們等等會再解釋什麼是自回歸模型。

我誕生在OpenAI實驗室，創始人是伊隆·馬斯克，你不知道他是誰?SpaceX知道吧?不知道?特斯拉知道吧?Twitter 喔不是現在叫X。知道吧?對!沒錯!都是他的! 喔!回歸正題。

我存在的目的是為了讓人類可以使用深度學習來讓我理解他們的語言。我的前輩是GOOGLE開發的Transformer 語言模型，不過青出於藍勝於藍，我可是當時參數最多的神經網路模型喔!而且史坦福大學也證明我的心智相當於七歲兒童，更不用說我的兄弟姐妹了!
你想知道我兄弟姊妹是幹嘛的?
好吧和你們介紹一下。

我的大哥，GPT1。他出生於2018，特長是文本生成、文本翻譯問答。
我的大姊，GPT2。她出生於2019，她生成的文本比大哥寫得更真實也更複雜，而且她會總結段落文本。
我，GPT3。出生於2020，我生成的文本比大姊寫得更更更好，不需要微調，我還可以寫編碼喔。
我妹妹，GPT4。出生於2023，她不僅能生成比我更好的文本，甚至還能生成圖文。
你問我Chat GPT跟我們是甚麼關係?
他是我堂弟。出生在2022年，是我們家的網紅，他在你們人類的世界侃侃而談，應該是我們家族中目前把你們人類語言運用的最好的一位。

對於我的家人們都清楚了嗎? 那麼接下來，焦點回到我身上，來介紹一下什麼是自回歸語言模型吧!

自回歸語言模型

自我回歸模型(Autoregressive model，簡稱AR模型)，是統計中一種處理時間序列的方法，他使用過去的觀測值來預測未來時間點的值。

自回歸語言模型是自我回歸模型中的特例，專門用於自然語言文本生成任務。他通常基於神經網路，常見的有:嵌入式語言模型(LEMO)、長短時記憶網路(LSTM)、變換器模型(GPT)。他們都利用一個假設:每個詞出現僅和他前面的詞有關，與後面的詞無關，這種生成方式能夠保持上下文的一致性並產生出連貫的文本。

回歸模型主要是預測或是建模一個連續的目標變數，是利用特徵來對目標變數進行預測。
簡單來說自回歸模型是用X預測X，而回歸模型是用X預測Y，因此自回歸模型並不被歸類為「回歸模型」。

參考網站:
https://zh.wikipedia.org/zh-tw/GPT-3
https://blog.infuseai.io/gpt-model-past-introduction-1e2558462e41
https://www.managertoday.com.tw/books/view/66530
https://zh.wikipedia.org/zh-tw/%E8%87%AA%E6%88%91%E8%BF%B4%E6%AD%B8%E6%A8%A1%E5%9E%8B
https://www.twblogs.net/a/5d6d113fbd9eee5327ff087a
https://zh.wikipedia.org/zh-tw/%E8%BF%B4%E6%AD%B8%E5%88%86%E6%9E%90